Вчера мы рассказывали о новых возможностях архитектуры корпоративного уровня VMware Cloud Foundation 5.0. Напомним, что VCF - это главное программное комплексное инфраструктурное решение VMware, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.
Сегодня мы расскажем о новых возможностях пакета vRealize Suite (новое название линейки - Aria), которые дают дополнительную масштабируемость, безопасность и несколько ключевых улучшений, которые направлены на соответствие требованиям для инфраструктур IaaS, упрощают развертывание облачных услуг на собственных площадках и обеспечивают дополнительную защиту от кибератак.
Итак, давайте посмотрим на ключевые новые возможности vRealize Suite:
Новое в Aria (vRealize) Operations (vROps)
vROps предоставляет предиктивное и превентивное управление ИТ-операциями для частных, гибридных и многооблачных сред на единой платформе. Процесс внедрения VMware Cloud Foundation был упрощен для предоставления пользователям более глубокого понимания и контекста управления продуктами VMware Cloud Foundation. Механизм работы с логами был улучшен для обеспечения большей глубины данных и контекста за счет таких функций, как анализ трендов логов, поддержка фильтров для продвинутого решения проблем, виджет логов в панелях инструментов и поддержка полей логирования для сообщений логов.
Чтобы помочь клиентам получить целостное представление обо всех объектах, которые отслеживаются в vROps, была добавлен дэшборд многооблачной среды, отображающий все облака VMware и публичные облака, которые пользователи могут мониторить, а также показывает сводную информацию о том, что происходит в важнейших объектах, связанных с этим облаком.
Кроме того, такие функции, как улучшения планирования сценариев "Что если", и анализ стоимости облачной среды VMware, могут помочь клиентам анализировать и сравнивать стоимость всех их объектов и прорабатывать сценарии планирования для оптимизации затрат.
Новое Aira (vRealize) Operations for Log Insights (vRLI)
Масштаб данных, генерируемых для инфраструктуры различных приложений огромен, и vRealize Operations for Log Insights (vRLI) предоставляет возможность понять эти данные. В новом релизе vRLI предлагает полное 360-градусное устранение неполадок, объединяющее метрики, журналы и многочисленные интеграции. Страница Webhooks улучшена для обеспечения последовательного рабочего процесса, такого как определения алертов и отчеты.
Возможности управления журналами для SaaS позволяют настраивать оповещения, которые помогают управлять расходами на SaaS с лучшей видимостью. Многие другие обновления для SaaS включают федеративное управление журналами, пакеты контента и новые API. Обновленные отчеты об использовании помогают понять объем данных, которые приложения отправляют в журналы, чтобы помочь управлять затратами на их хранение.
Новое в Aria (Realize) Operations for Network Insights (vRNI)
vRNI предоставляет клиентам простой, легкий в использовании инструмент для управления сетью, который позволяет мониторить поток данных по всей инфраструктуре безопасным образом. Автоматическое обнаружение сети - это одна из новых мощных функций vRNI, с помощью которой можно автоматически обнаруживать устройства, такие как коммутаторы, маршрутизаторы и межсетевые экраны, во всей сети с помощью проверенных механизмов.
Благодаря этой функции сетевой администратор может легко определить, сколько устройств находится в сети, как ускорить добавление устройств и определить незавершенные сетевые пути. Улучшения удобства использования руководства по устранению неполадок в сети включают новые виджеты, обновленные диаграммы метрик, а также действия с деревом зависимостей, такие как фильтры и расширения. Новые сетевые метрики для интерфейсов ESXi Host pNIC, а также ядер CPU NSX-T Edge dataplane дополнительно улучшают процесс устранения неполадок.
Новое в Aria (vRealize) Automation (vRA)
vRA позволяет ИТ-командам устранять неэффективность процессов с помощью end-to-end автоматизации. Теперь vRA поддерживает настраиваемые действия и действия "из коробки", выполняющиеся на одном и том же ресурсе или развертывании, что повышает эффективность и сокращает временные затраты. Новая архитектура плагинов раскрывает полный спектр возможностей, предлагаемых облачными провайдерами внутри vRA.
Новое в Aria (vRealize) Suite Lifecycle Manager (vRSLCM)
vRSLCM теперь предоставляет интеграцию между продуктами vRealize Suite. С помощью vRLI вы теперь можете выполнять настройку переадресации журналов из других продуктов vRealize Suite в vRLI. Аналогично, с помощью vROps Manager, вы теперь можете выполнять настройку пакетов управления других продуктов vRealize в vRealize Operations Manager. Пользователи могут включать или отключать проверки состояния для продуктов vRealize Suite в vRSLCM. Если обновление vRA не удалось, вводится функция автоматического возврата, чтобы вернуть приложение к его предыдущему рабочему состоянию. Перед автовозвратом из vRealize Automation автоматически собирается support bundle и сохраняется в vRSLCM для целей устранения неполадок. Вы можете перейти к нужному продукту vRA в vRSLCM и загрузить последний сгенерированный support bundle.
Еще несколько полезных ресурсов о новой версии VMware Cloud Foundation 5.0:
Многие облачные администраторы VMware знакомы с продуктом Cloud Provider Lifecycle Manager, который позволяет обеспечивать непрерывный процесс обновления компонентов облачной платформы (ранее его функции частично выполнял Update Manager). При этом Lifecycle Manager поддерживает управление жизненным циклом и таких решений, как VMware Cloud Director, Usage Meter и vRealize Operations Manager Tenant App средствами дополнительного пакета interop bundle, который содержит определения по совместимости вышедших версий продуктов с другими платформами.
В прошлом году на конференции VMworld 2021 было объявлено о том, что теперь с помощью VMware Cloud Provider Lifecycle Manager (VCPLM) можно автоматизировать рутинные операции жизненного цикла пользователей, разрабатывая свои сценарии развертывания, обслуживания и списания систем, что позволяет сотрудникам сервис-провайдеров сосредоточиться на более высокоуровневых операциях. При этом такие решения, как interop bundle отлично дополняют экосистему обновлений, доставляемых через Lifecycle Manager.
1. Улучшенный выбор сетей для сетевых адаптеров узлов
Он теперь дает возможность фильтрации групп портов, а также можно вбивать только часть имени сети:
2. Улучшенная логика апгрейда VMware Cloud Director
При подготовке апгрейда VCD происходит бэкап шары NFS, который можно в случае чего откатить в рамках процесса rollback. Также процедура обновления теперь ждет, пока апгрейд закончится на всех элементах инфраструктуры. Это дает побольше надежность, но несколько увеличивает время апгрейда. Регулировать таймаут в секундах можно с помощью команды:
su -c "echo CPLCM_VCD_UPGRADE_PROCESS_TIMEOUT=3600 >> /etc/environment; systemctl restart vcplcm-api.service"
3. Улучшенное обновление сертификатов VCD
Сертификаты теперь устанавливаются более надежно - добавлена дополнительная верификация самих сертификатов и ключей.
4. Прочие улучшения
Здесь можно отметить следующие вещи:
Поддержка Chargeback 8.10 (бывшее решение vRealize Operations Manager Tenant App)
Развертывание Interop Bundle происходит следующим образом:
Переходим в VMware Cloud Provider Lifecycle Manager UI, для чего нужно вбить адрес https://vcplcmhost-name и залогиниться как пользователь vcplcm. В верхней панели выбираем Administration и идем на страницу Troubleshooting:
Здесь можно проверить наличие обновления для Interop Bundle и накатить его. Нажимаем Update Interop Bundle и затем Install Interop Bundle:
После успешного обновления вы получите сообщение "Interop bundle has been updated":
Нажмите Check for the Interop Bundle update, чтобы убедиться, что у вас установлена последняя версия:
Также версию продукта можно проверить в разделе VMware Cloud Provider Lifecycle Manager UI > About:
Скачать Interop Bundle 1.4.8 для VMware Cloud Provider Lifecycle Manager 1.4 можно по этой ссылке. Release Notes доступны тут.
Недавно мы писали о новых возможностях решения VMware Aria Operations for Logs 8.10, предназначенного для аналитики лог-файлов, мониторинга виртуальной инфраструктуры и решения проблем на базе полученной информации из логов. Также мы рассказывали о новой версии облачного Aria Operations Cloud October 2022 - решения для мониторинга виртуальной инфраструктуры в публичном облаке, а также об обновлении VMware Aria Operations 8.10 (бывший продукт vRealize Operations, теперь он доступен в линейке Aria), предназначенного для комплексного управления и мониторинга виртуальной облачной инфраструктуры в различных аспектах для собственного датацентра компании, которая пришла на смену решению VMware vRealize Operations.
Сегодня мы поговорим о давно ожидаемой пользователями функциональности - передачи срабатываемых алертов VMware Aria Operations Logs в решение Aria Operations Cloud для отслеживания различных важных событий, происходящих в виртуальном датацентре.
Над сказать, что эта возможность уже существует в онпремизных версиях Aria Logs и Aria Operations, а вот только сейчас была добавлена для Aria Operations Cloud.
Итак, для начала создадим или склонируем алерт в Aria Operations Logs и установим условие его срабатывания (trigger condition). Теперь в настройках условия есть чекбокс, который так и называется - "Send to vRealize Operations Manager". Поскольку интеграция между двумя продуктами настраивается во время развертывания, то чекбокс должен у вас показываться - эта опция не требует какой-то отдельной настройки.
Далее мы просто ждем срабатывания алерта или вызываем его в ручном режиме. Как только он срабатывает - он отображается в разделе Alert Instances на вкладке Alerts решения Aria for Logs.
Как только сработал алерт, он сразу же должен попасть в Aria Operations Cloud. Ниже мы видим алерт в Aria Operations Cloud, произошедший в 10:21 AM (виртуальная машина была удалена в окружении VMC). Этот алерт пришел из Aira for Logs.
Теперь можно использовать Aria Operations для выполнения действий с алертом или переслать его в нужное назначение.
Если мы "провалимся" в алерт, то увидим, что это критическая нотификация для симптома, а также будет отображен текст лога, который даст больше деталей о произошедшем:
То есть для облачных продуктов VMware Aria Operations for Logs и Aria Operations Cloud теперь работает все точно так же, как и для их онпремизных аналогов.
Многие крупные компании используют решение VMware vRealize Operations для управления и мониторинга виртуальной инфраструктуры на платформе VMware vSphere. Иногда виртуальных машин становится так много (учитывая, что их бесконтрольно создают разработчики и тестировщики), что лицензии на vROPs, которые учитываются по виртуальным машинам, быстро заканчиваются.
Кроме того, с введением функций vSphere Cluster Services и Workload Management, а также vSAN File Share появились системные виртуальные машины, которые по умолчанию не исключаются из мониторинга в vRealize Operations Manager.
Чтобы исключить ненужные машины из мониторинга и потребления лицензий, можно использовать группы лицензий (License Groups). Итак, вам нужно создать группу виртуальных машин, члены которой будут исключены из мониторинга и не будут потреблять лицензии.
Логинимся в интерфейс vRealize Operations Manager как администратор.
Идем в Home > Administration > Licensing > License Groups.
Нажимаем на виртикальное многоточие опций на нужной группе лицензий и выбираем пункт Edit (если у вас уже есть группа), либо можно создать новую группу в пункте ADD.
Выбираем license key и нажимаем Next.
В нижней части экрана в разделе Object to always exclude добавляем виртуальные машины, которые мы не хотим, чтобы потребляли лицензии в этой группе.
Нажимаем Next и Finish.
Возвращаемся на вкладку License Keys, нажимаем на многоточие и выбираем пункт Refresh License Usage.
Информацию о создании и редактировании групп лицензий вы можете найти тут. Помните, что хосты, на которых нет ВМ, потребляющих лицензии, но добавленные в vROPs - все равно будут потреблять лицензии.
Больше подробностей о работе с группами лицензий в vRealize Operations вы можете узнать из этой статьи.
Некоторые из вас, вероятно, знают такой сайт virten.net, где в свое время публиковалось много интересных технических статей об инфраструктуре VMware. Автор этого ресурса делает много интересных вещей, например, средство PowerShell OVF Helper.
OVF Helper - это репозиторий шаблонов для развертывания ВМ из виртуальных модулей (Virtual Appliances) в формате OVF, которые основаны на рабочем процессе развертывания в мастере создания машин vSphere Client. Через OVF Helper вы таким же образом соединяетесь с vCenter Server, заполняете нужные переменные и выполняете сценарий развертывания. Это точно так же просто, как и при использовании vSphere Client, но плюс в том, что вы можете использовать этот сценарий повторно, не проходя вручную шаги мастера клиента vSphere.
Также настроенные параметры в скрипте будут вам отличным напоминанием о том, какую конфигурацию вы использовали для виртуальных модулей.
На данный момент доступны сценарии для следующих продуктов и их версий:
Также на странице PowerShell OVF Helper размещены ссылки на OVA-модули, которые рекомендуется использовать совместно с соответствующей версией сценария.
Кстати, обратите внимание на раздел Tools на сайте автора - там много чего интересного:
Как знают многие администраторы VMware vSphere, у компании есть очень полезный документ "Security Configuration Guide", который представляет собой основное руководство по обеспечению безопасности виртуальной среды. Последняя версия этого документа содержит 87 настроек (мы писали об этом тут), так или иначе влияющих на безопасность как самой платформы виртуализации, так и виртуальных машин и их гостевых операционных систем.
Документ передает концепцию "Secure by design", что означает, что среда VMware vSphere изначально настроена оптимальным образом с точки зрения безопасности, поэтому вносить изменения вам нужно только в случае наличия каких-либо специальных требований именно в вашей инфраструктуре.
Надо понимать, что конфигурация виртуальной среды в целях обеспечения повышенной (относительно дефолтной) безопасности - это всегда компромисс между защищенностью и удобством использования (как и для любой другой ИТ-системы). Из коробки сама платформа, сервер vCenter и виртуальные машины настроены таким образом, чтобы обеспечить максимальное удобство использования при должном уровне безопасности.
Помните, что изменение настроек безопасности - очень опасная штука, которая требует обязательного документирования и оповещения администраторов об этом. Ведь из-за этого они могут получить проблемы с работой отдельных компонентов, но так и не понять их источника, что будет похуже чисто гипотетической маловероятной атаки, связанной с измененной настройкой.
Сегодня мы посмотрим на 15 действительно полезных рекомендаций и настроек, применение которых не сильно снизит удобство использования, но при этом даст чуть более высокий уровень безопасности, что может оказаться вам в каком-то случае полезным.
Структура списка конфигураций и рекомендаций
Давайте сначала взглянем на колонки Excel-таблицы, которая, по-сути, и является списком настроек и рекомендаций, которые вы можете применить в своей виртуальной инфраструктуре:
Guideline ID - идентификационное имя рекомендации.
Description - лаконичная формулировка сути этой рекомендации.
Discussion - описание влияния настройки на конфигурацию среды и операции, а также обсуждение моментов, которые касаются удобства использования инструментов управления в связи с изменением настройки.
Configuration Parameter - это название расширенной настройки соответствующего компонента, которую вы можете изменить. Понятно дело, что эта колонка заполнена не всегда, так как есть рекомендации, которые регулируются не конкретными настройками, а, например, топологией или подходом к организации среды.
Desired value - рекомендуемое значение, часто оно является значением по умолчанию, если это не site specific.
Default value - то значение, которое установлено по умолчанию.
Is Desired Value the Default? - просто для понимания (и для референса в будущем), установлено ли желаемое значение по умолчанию.
Action Needed - это тип действия, который необходимо предпринять - изменить настройку, проверить конфигурацию или топологию, добавить или удалить что-то и т.п.
Setting Location in vSphere Client - очень полезная колонка, позволяющая вам найти нужную настройку в клиенте vSphere.
Negative Functional Impact in Change From Default? - это как раз информация о влиянии на функционал в случае изменения настройки.
PowerCLI Command Assessment - команда PowerCLI, с помощью которой можно узнать текущее значение настройки.
PowerCLI Command Remediation Example - команда PowerCLI по применению настройки.
Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено необоснованно.
Само руководство разбито на 4 категории, которые понятны всем администраторам:
Хосты ESXi
Сервер vCenter
Виртуальные машины
Гостевые ОС виртуальных машин
Также в документе есть и вкладка "Deprecated" - там находятся те настройки, которые больше не актуальны. Что важно - там помечено, почему это случилось (в колонке Discussion).
Итак, давайте посмотрим на 15 самых интересных и, главное, полезных настроек, которые вы можете изменить, а также рекомендаций, которые вы можете выполнять, чтобы повысить безопасность виртуальной среды в своей инфраструктуре.
Хосты ESXi
Configure remote logging - это действительно правильная рекомендация. Хосты ESXi должны отправлять свои логи на удаленный сервер Syslog. Самый удобный вариант - это использовать в качестве Syslog-сервера решение VMware vRealize Log Insight. Ведь если злоумышленник проникнет на сервер ESXi, то после своей активности он эти логи удалит, и расследовать будет нечего. С централизованного внешнего сервера удалить эти данные сложнее. На работу виртуальной среды эта конфигурация не влияет.
Ensure ESXi management interfaces are isolated on their own network segment - это очевидная, но не всегда выполняемая администраторами конфигурация. Конечно же, вся управляющая инфраструктура виртуальной среды должна находиться в выделенном сегменте сети в своих VLAN, куда имеют доступ только администраторы. То же самое касается и сети vMotion, и сети vSAN.
esxi-7.shell-interactive-timeout и esxi-7.shell-timeout (Set a timeout to automatically terminate idle ESXi Shell and SSH sessions) - по умолчанию сессии командной оболочки и SSH-сессии висят постоянно, что, конечно же, представляет потенциальную угрозу. Лучше ограничить таймаут 600 секундами, чтобы никто эти сессии не смог подхватить.
Only run binaries delivered via VIB - эта настройка позволяет устанавливать бинарные компоненты только через VIB-пакеты, которые соответствуют установленному Acceptance Level. Если вы не пользуетесь посторонними библиотеками кустарного производства, то лучше эту настройку включить. Когда вам понадобится установить такой бинарник - просто включите эту настройку снова. Но это изменение лучше задокументировать.
Enable bidirectional/mutual CHAP authentication for iSCSI traffic - настраивать CHAP-аутентификацию нужно обязательно, чтобы предотвратить атаки, связанные с перехватом трафика к хранилищам. Настраивать это недолго, но зато будет больше уверенности в сохранности данных.
Сервер vCenter
Ensure vCenter Server management interfaces are isolated on their own network segment or as part of an isolated ESXi management network - это та же самая рекомендация по изоляции управляющей сети от сети виртуальных машин, что и для серверов ESXi. Убедитесь, что они надежно разделены с помощью VLAN и других техник.
Ensure that port mirroring is being used legitimately - эта настройка отключена по умолчанию, но зеркалирование трафика на портах vSphere Distributed Switch надо периодически проверять (vSphere Client -> Networking -> Distributed Switch -> Configure -> Settings -> Port Mirroring). Такой способ атаки - один из самых простых в реализации, если у злоумышленника есть доступ к настройкам VDS (обычно в них никто не заглядывает после первичной настройки). То же самое касается и отправки трафика NetFlow, управление которым производится в разделе vSphere Client -> Networking -> Distributed Switch -> Configure -> Settings -> NetFlow.
Limit access to vCenter Server by restricting DCLI / SSH - это разумная рекомендация, чтобы злоумышленник не смог залогиниться в консоль виртуального модуля напрямую или по SSH. Уменьшив поверхность атаки, вы сделаете среду более защищенной. Только не забудьте задокументировать это изменение.
Configure File-Based Backup and Recovery - не ленитесь настраивать и обслуживать бэкап конфигурации вашего управляющего сервера. Однажды это может вам пригодиться как в контексте безопасности, так и в контексте быстрого восстановления системы управления в виртуальной инфраструктуре в случае сбоя.
Configure remote logging - здесь те же рекомендации, что и для ESXi. Не ленитесь настраивать сервер удаленного сбора логов.
Виртуальные машины
Limit the number of console connections - очень часто к консоли виртуальной машины не нужно больше одного подключения ее администратора. В этом случае дефолтное количество 40 одновременных подключений лучше уменьшить до 1. Делается это в разделе VM -> Edit Settings -> VM Options -> VMware Remote Console Options.
Encrypt VMs during vMotion - это полезная настройка. По умолчанию, трафик vMotion шифруется, только если есть такая возможность (Opportunistic). Если у вас хватает вычислительных ресурсов и быстрая сеть, то можно установить это значение в "Required". Это обеспечит защиту от перехвата трафика vMotion, в котором есть данные гостевой ОС виртуальной машины.
Lock the VM guest session when the remote console is disconnected - лучше включить эту настройку и лочить сессию при отключении удаленной консоли, чтобы брошенная администратором сессия в гостевой ОС виртуальной машины не была подхвачена злоумышленником. На удобство работы это не сильно влияет. Изменить эту настройку можно в VM -> Edit Settings -> VM Options -> VMware Remote Console Options.
Гостевая ОС
Ensure that VMware Tools are updated - это просто еще одно напоминание, что нужно постоянно следить за тем, что пакет VMware Tools обновлен до последней версии (и желательно поддерживать единый уровень версий для всех машин). В нем содержится много компонентов (кстати, не устанавливайте ненужные), поэтому уязвимость в одном из них может скомпрометировать множество виртуальных машин. То же самое относится и к версии Virtual Hardware - следите за этим.
Disable Appinfo information gathering - об интерфейсе Appinfo мы писали вот тут (он же Application Discovery). Он позволяет, например, собирать информацию о запущенных приложениях внутри гостевой системы и их параметрах. Механизм Appinfo используется различными решениями, такими как vRealize Operations Manager, для мониторинга на уровне гостевой ОС. Если же вы не используете эти решения в своей виртуальной среде, то данный механизм лучше просто отключить через VMware Tools. Учитывая какое количество багов, касающихся безопасности, в последнее время находится в различных компонентах инфраструктурного ПО, лучше отключить функции Appinfo, которые включены по умолчанию для всех гостевых ОС после установки VMware Tools.
Конечно же, в документе vSphere 7 Security Configuration Guide есть много и других настроек и конфигураций, изменение которых помогут вам повысить уровень безопасности. Иногда это связано с требованиями регулирующих органов или спецификой внутренних политик организации. Поэтому обратите особенное внимание на те конфигурации, которые помечены как Site Specific, а также те, где рекомендуемые значения отличаются от дефолтных. И обязательно документируйте сделанные изменения, а также проводите регулярный аудит наиболее важных настроек.
Когда вы работаете в дэшборде решения для комплексного управления и мониторинга виртуальной инфраструктуры VMware vRealize Operations Manager, управление действующими политиками происходит на вкладке Policies. Применяются эти политики последовательно в порядке приоритета, указанного в колонке Priority.
Если у вас больше одной активной политики, то вы можете открыть интерфейс изменения порядка политик, чтобы поменять их приоритет. Для этого нажимаем бокс с тремя точками и выбираем пункт Reorder Policies:
Далее политику можно перетащить вверх и вниз, чтобы изменить ее приоритет:
Приоритет политики по умолчанию всегда отмечен как D (Default Policy), остальные отмечаются цифрами 1,2,3 и т.п. Цифра 1 имеет наивысший приоритет применения политики. Если вы назначаете объект членом нескольких групп (Object Groups), а для каждой группы назначена своя политика, то vRealize Operations Manager назначает политику с наивысшим приоритетом для этого объекта.
В последнее время в продуктах VMware часто находят различные уязвимости, а хакеры по всему миру разрабатывают различные руткиты и утилиты для взлома инфраструктуры VMware vSphere и серверов ESXi. В связи с этим многие администраторы хотели бы отключить неиспользуемые плагины, которые есть в VMware vCenter. Совсем недавно появились следующие оповещения о проблемах с безопасностью (VMware Security Advisories, VMSA), которые касаются плагинов:
CVE-2021-21985 - VMSA-2021-0010 (плагин Virtual SAN Health Check)
CVE-2021-21986 - VMSA-2021-0010 (плагины Virtual SAN Health Check, Site Recovery, vSphere Lifecycle Manager и VMware Cloud Director Availability)
Подробно об отключении плагинов у VMware написано в KB 83829. Приведем здесь данную процедуру вкратце.
В конфигурационный файл на сервере vCenter вам нужно будет добавить одну или несколько следующих строчек, в зависимости от плагина, который вы хотите отключить:
Давайте теперь посмотрим, какие плагины включены по умолчанию на всех серверах vCenter после установки (Default), а какие устанавливаются и включаются только после установки соответствующего продукта (Product):
vCenter Version
vRealize Operations
vSAN
VMware vSphere Lifecycle Manager
Site Recovery
VMware Cloud Director Availability
6.5
Default
Default
N/A
Product
Product
6.7
Default
Default
N/A
Product
Product
7.0
Default
Default
Default
Product
Default
Итак, чтобы отключить плагины, вам нужно:
Подключиться к серверу vCenter Server Appliance (vCSA) по SSH как root
Сделать резервную копию файла, например, командой: cp -v /etc/vmware/vsphere-ui/compatibility-matrix.xml /etc/vmware/vsphere-ui/compatibility-matrix.xml.backup
Открыть этот файл в текстовом редакторе командой: vi /etc/vmware/vsphere-ui/compatibility-matrix.xml
Добавить туда соответствующую строчку конфигурации из таблицы выше вот в этом месте (раздел pluginsCompatibility):
Некоторое время назад мы писали о новой версии решения VMware Cloud Foundation 4.2 (VCF), которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.
На днях VMware сделала небольшое обновление этого пакета - VMware Cloud Foundation 4.2.1, давайте посмотрим, что там нового:
Обновления безопасности для Photon OS в SDDC Manager 4.2.1 (пакет PHSA-2021-3.0-185 обновлен до PHSA-2021-3.0-209 - подробнее тут).
Критические обновления безопасности для VMware vCenter Server Appliance (мы писали об уязвимости тут).
Обновление некоторых версий продуктов в составе пакета.
Новый Bill of Materials включает в себя следующие версии решений VMware:
Продукт
Версия
Дата релиза
Номер билда
Cloud Builder VM
4.2.1
25 MAY 2021
18016307
SDDC Manager
4.2.1
25 MAY 2021
18016307
VMware vCenter Server Appliance
7.0.1.00301
25 MAY 2021
17956102
VMware ESXi
7.0 Update 1d
04 FEB 2021
17551050
VMware NSX-T Data Center
3.1.2
17 APR 2021
17883596
VMware vRealize Suite Lifecycle Manager
8.2 Patch 2
04 FEB 2021
17513665
Workspace ONE Access
3.3.4
04 FEB 2021
17498518
vRealize Automation
8.2
06 OCT 2020
16980951
vRealize Log Insight
8.2
06 OCT 2020
16957702
vRealize Log Insight Content Pack for NSX-T
3.9.2
n/a
n/a
vRealize Log Insight Content Pack for Linux
2.1
n/a
n/a
vRealize Log Insight Content Pack for Linux -Systemd
1.0
n/a
n/a
vRealize Log Insight Content Pack for vRealize Suite Lifecycle Manager 8.0.1+
1.0.2
n/a
n/a
vRealize Log Insight Content Pack for VMware Identity Manager
2.0
n/a
n/a
vRealize Operations Manager
8.2
06 OCT 2020
16949153
vRealize Operations Management Pack for VMware Identity Manager
1.1
n/a
n/a
Для пользователей пакета версии 3.10.2 также есть обновление - VCF 3.10.2.1, о нем прдробно рассказано вот тут. Вот его Bill of Materials:
Продукт
Версия
Дата релиза
Номер билда
SDDC Manager
3.10.2.1
25 MAY 2021
18015401
VMware vCenter Server Appliance
6.7 Update 3n
25 MAY 2021
18010531
Об обновлении подсистемы безопасности VMware vCenter Server Appliance 6.7 Update 3n рассказано тут.
Многие из вас, наверняка, знакомы с инфраструктурой публичного облака VMware Cloud on AWS, которая была анонсирована еще летом 2017 года. Это все та же платформа VMware vSphere, все те же серверы VMware ESXi, но стоят они физически в датацентрах Amazon. Все это управляется совершенно нативно для инфраструктуры vSphere, туда же включаются и решение...
В начале марта этого года мы писали о серьезной уязвимости в сервисах vCenter (CVE-2021-21972), которая
могла привести к удаленному исполнению кода злоумышленником. Уязвимость по степени критичности оценивалась на 9.8 из 10 (по шкале Common Vulnerability Scoring System Version 3.0). Нашел ее, кстати, русский инженер.
На днях была найдена еще одна уязвимость с высокой критичностью в сервисах Carbon Black - CVE-2021-21982 (вот ее описание на сайте VMware). Она затрагивает виртуальный модуль VMware Carbon Black Cloud Workload версий 1.0.0 и 1.0.1 и приводит к возможности обойти аутентификацию Carbon Black и получить максимальные привилегии (сам модуль находится в онпремизной инфраструктуре). Кстати, уязвимость нашел также русскоговорящий пентестер Егор Димитренко.
Самое забавное, что решение Carbon Black предназначено именно для обнаружения угроз на стороне рабочих станций, их анализа на стороне облака и предпринятия действий по защите инфраструктуры десктопов.
Критичность уязвимости по шкале CVSS - 9.1.
Суть ее заключается в том, что можно изменить URL доступа к административной консоли VMware Carbon Black Cloud Workload appliance таким образом, чтобы получить валидный токен пользователя с максимальными привилегиями к API виртуального модуля. Такой пользователь может просматривать и изменять все настройки модуля.
Кстати, надо сказать, что в конце марта Егор нашел еще одну уязвимость в сервисах VMware vRealize Operations Manager (CVE-2021-21975 и CVE-2021-21983, на сайте VMware она описана вот тут). Она, правда не столь критична - ее CVSS находится в диапазоне 7.2 - 8.6.
Кстати, чтобы быть в курсе новостей о безопасности VMware можно подписаться на вот этот список рассылки.
На прошлой неделе компания VMware выпустила обновления своих главных продуктов - vSphere 7 Update 2 и vSAN 7 Update 2. Одной из важных составляющих инфраструктуры vSphere является технология репликации, которая служит основой для защиты активного датацентра и позволяет создать горячие копии виртуальных машин на резервной площадке в рамках решения VMware Site Recovery Manager. Напомним, что о возможностях репликации и SRM 8.3 мы писали около года назад вот тут.
При возвращении основного сайта в онлайн после операции восстановления на резервную площадку происходит обратная ресинхронизация данных виртуальных машин. Теперь этот процесс работает значительно быстрее, так как SRM начинает отслеживать изменяющиеся данные сразу после Failover'а или плановой миграции на резервный сайт.
Вот так это выглядит с точки зрения экономии времени на восстановление изначальной конфигурации площадок:
2. Улучшения масштабируемости и производительности
Раньше технология vSphere Replication поддерживала репликацию до 2000 виртуальных машин на один сервер vCenter, теперь же это число было увеличено до 3000. На один модуль Replication Appliance теперь может приходиться до 300 ВМ вместо 200 ранее. Кроме того, инженеры VMware также поработали и над улучшением производительности процесса репликации.
3. Отчетность
Ранее отчеты можно было выгружать в файл XML, теперь же была добавлена еще и возможность копировать их в любой Datagrid через UI. Также появилась опция "Export Global Report" в формат CSV, которая позволяет экспортировать все настройки и конфигурации инфраструктуры катастрофоустойчивости для отчетности и анализа. Там будут все Recovery Plans и Protection groups с их подробными конфигурациями.
4. Улучшения интерфейса
Тут появилось множество всего нового, например, раздел Missing network mappings, очень полезный для администраторов SRM.
На скриншоте видно, что при настройке репликации недостающие маппинги показываются в интерфейсе, где есть возможность их добавить в Protection groups на этапе одного из шагов мастера.
После создания плана аварийного восстановления вам покажут список задач с ошибками, обнаруженными для полученных конфигураций. Это доступно на Summary Page, без необходимости открывать recovery plan report.
В истории задач видны все ошибки, сгруппированные по задачам:
На любом экране с деревом инфраструктуры теперь есть информация о состоянии каждого из объектов (Disconnected, Maintenance Mode и т.п.):
Для маппинга папок теперь есть подсказка об их иерархии:
После фейловера или плановой миграции на другую площадку наступает необходимость восстановить функционирование основного сайта и вернуться к изначальной конфигурации. О процедуре Reprotect теперь напоминает специальный попап:
Также при настройке репликации для виртуальной машин, помимо формата диска и политики хранилищ, теперь показывается и контроллер для каждого диска.
Ну и появилась возможность read-only просмотра мастера recovery settings для ВМ, когда планы восстановления находятся в нередактируемом состоянии.
Интерфейс модуля VRMS был приведен к тем же стандартам, что и консоли Site Recovery Manager и vCenter. Теперь нужные задачи и настройки находить легче:
6. Улучшения простоты использования
Теперь Site Recovery Manager автоматически выбирает placeholder datastores на обеих площадках с учетом характеристик этих датасторов. Эту механику можно отключить в настройках:
Также теперь при настройке репликации автоматически определяются редко используемые ISO, подключенные как CD/DVD и исключаются из репликации:
7. Улучшенная поддержка соединения площадок
Теперь конфигурация SRM поддерживает разницу в версиях (N+1), что очень удобно в целях апгрейда версии ПО на обеих площадках:
Тут есть 3 основных момента:
Пара будет функционировать на условиях младшей версии
SRM и vSphere Replication должны быть одной версии в рамках одной площадки
Эта функциональность идет отдельно от совместимости разных версий vCenter
8. Улучшения автоматизации
Через SRM API теперь доступны следующие возможности:
Просмотр числа и типов лицензий
Создание пустых protection groups
Создание/редактирование папок и перемещение recovery plans и protection groups
Настройка array managers
Управление реплицируемыми парами дисковых массивов
Ручной маппинг/защита ВМ
Функции Add/Remove/Get для Placeholder Datastores
Добавление зависимостей ВМ
Для плагина vRealize Orchestrator plug-in for SRM было добавлено:
Добавление Inventory Mappings на уровне ВМ
Настройка Placeholder Datastore
Новый рабочий процесс создания папок Protection Group и Recovery Plan, а также их перемещение из одной папки в другую
9. Улучшения vRealize Operations Management Packs
Management Pack теперь поддерживает vRealize Operations Manager 8.3. В отчетах теперь можно найти новую информацию о:
Лицензиях
Объектах Array Manager
Ошибках, алертах и алармах
Recovery History
MPIT visibility для vSphere Replication
Более подробная информация о релизах VMware Site Recovery Manager 8.4 и vSphere Replication 8.4 приведена тут и тут, соответственно. Скачать SRM 8.4 можно по этой ссылке.
Компания VMware недавно сделала несколько обновлений в списке лабораторных работ Hands-On Labs (HoL) на базе платформы VMware Learning, добавив 18 новых лаб. Они посвящены vCloud Management Platform, то есть таким решениям, как vRealize Automation, vRealize Operations, Log Insight и прочим продуктам для управления и автоматизации облаков.
Ну и в других разделах тоже добавилось всего по мелочи:
Сами лабораторные работы списком (посмотреть и запустить их можно вот тут):
HOL-2101-01-CMP - What's New in vRealize Operations 8.1
HOL-2101-02-CMP - Getting Started with vRealize Log Insight
HOL-2101-03-CMP - vRealize Operations- Optimize the Performance of Your vSphere Environment
HOL-2101-04-CMP - vRealize Operations - Optimize and Plan vSphere Capacity and Costs
HOL-2101-05-CMP - Troubleshooting and Remediation with vRealize Operations and Log Insight
HOL-2121-04-CMP - Administering vRealize Automation - Advanced Use Cases
HOL-2121-05-CMP - vRealize Automation for DevOps
HOL-2121-06-CMP - Getting Started with vRealize Orchestrator
HOL-2121-91-CMP - Getting Started with vRealize Automation - Lightning Lab
HOL-2073-01-CMP - What's New in vRealize Operations Manager 8.0
Напомним, что бесплатные лабораторные работы VMware HoL позволяют освоить работу с различными продуктами и технологиями, проходя по шагам интерфейса. Такой способ отлично подходит для обучения работе с новыми версиями решений без необходимости их развертывания.
Четыре года назад мы публиковали табличку, которая показывает соответствие билдов различных продуктов VMware их официальным версиям (а до этого мы публиковали табличку 6 лет назад).
С тех пор много чего изменилось, в том числе добавились новые продукты, поэтому ниже таблица с нужными ссылками для соответствующих продуктов и датами релизов:
Продукт
Статья базы знаний VMware KB
VMware Converter Standalone (продукт не обновляется)
Осенью прошлого года компания VMware выпустила VMware Cloud Foundation 3.9. Напомним, что это комплексное программное решение, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.
На днях было выпущено небольшое обновление архитектуры VCF 3.9.1, где появилось несколько небольших новых возможностей.
Главное обновление - это новый Bill of Materials (BoM) для последних версий продуктов (включая апдейты 2020 года):
Компонент VCF
Версия
Дата релиза
Номер билда
Cloud Builder VM
2.2.1.0
14 JAN 2020
15345960
SDDC Manager
3.9.1
14 JAN 2020
15345960
VMware vCenter Server Appliance
6.7 Update3b
05 DEC 2019
15132721
VMware ESXi
6.7 Update 3b
05 DEC 2019
15160138
VMware vSAN
6.7 Update 3b
05 DEC 2019
14840357
VMware NSX Data Center for vSphere
6.4.6
10 OCT 2019
14819921
VMware NSX-T Data Center
2.5
19 SEP 2019
14663974
VMware Enterprise PKS
1.5
20 AUG 2019
14878150
VMware vRealize Suite Lifecycle Manager
2.1 Patch 2
02 JUL 2019
14062628
VMware vRealize Log Insight
4.8
11 APR 2019
13036238
vRealize Log Insight Content Pack for NSX for vSphere
3.9
n/a
n/a
vRealize Log Insight Content Pack for Linux
2.0.1
n/a
n/a
vRealize Log Insight Content Pack for vRealize Automation 7.5+
1.0
n/a
n/a
vRealize Log Insight Content Pack for vRealize Orchestrator 7.0.1+
2.1
n/a
n/a
vRealize Log insight Content Pack for NSX-T
3.8.2
n/a
n/a
vSAN Content Pack for Log Insight
2.2
n/a
n/a
vRealize Operations Manager
7.5
11 APR 2019
13165949
vRealize Automation
7.6
11 APR 2019
13027280
VMware Horizon 7
7.10.0
17 SEP 2019
14584133
Остальные новые возможности включают в себя:
Функция Application Virtual Networks (AVN) - она позволяет решению vRealize Suite быть развернутым в сетях NSX overlay networks. AVN, которые являются стандартом по умолчанию, начиная с этой версии архитектуры VCF, предоставляют преимущества портируемости и быстрого восстановления после запланированного простоя или в случае аварии. Чтобы узнать больше об этих сетях и перевести компоненты vRealize Suite на эту технологию почитайте вот эту статью.
Поддержка API для нескольких физических сетевых адаптеров и распределенных коммутаторов (vSphere Distributed switches). Теперь API поддерживает до трех vDS и до 6 физических NIC, что дает возможность применения API в высокопроизводительных средах с большим числом адаптеров и виртуальных коммутаторов (например, физическое разделение типов трафика).
Улучшения Cloud Builder - обновленный графический интерфейс включает в себя несколько улучшений рабочих процессов, а также показывает в отчетах детали задач, которые были выполнены во время развертывания.
Улучшения Developer Center - теперь можно получить доступ к Cloud Foundation API и примерам кода из дэшборда SDDC Manager.
Более подробная информация об улучшениях VMware Cloud Foundation 3.9.1 приведена в Release Notes.
Недавно компания VMware выпустила обновленную версию платформы VMware Integrated OpenStack 6.0. Напомним, что она предназначена для построения инфраструктуры OpenStack на базе платформы виртуализации VMware vSphere путем развертывания виртуального модуля vSphere OpenStack Virtual Appliance (VOVA). О прошлой версии Integrated OpenStack 5.0 мы писали вот тут.
Давайте посмотрим, что нового в Integrated OpenStack 6.0:
1. Панель управления с использованием Kubernetes.
Теперь в Integrated OpenStack 6.0 есть возможность использования консоли поверх кластера Kubernetes. Сервисы OpenStack теперь развертываются как узлы (Pods) Kubernetes, что позволяет их горизонтально масштабировать бесшовно и независимо друг от друга.
2. Kubernetes для множества клиентов.
Панель управления OpenStack за счет использования Essential PKS позволяет управлять инфраструктурой, где одновременно работают несколько независимых клиентов. Референсная имплементация этого решения средствами Heat доступна на сайте проекта на GitHub.
3. Улучшения Cinder.
Возможность привязать том сразу к нескольким инстансам.
Поддержка Dual stack IPv4/IPv6 для инстансов Nova и групп Neutron.
Поддержка IPv6 с решением NSX-T 2.5 и плагином NSX-P Neutron.
Режимы адресации IPv6: статический и SLAAC.
Статическая маршрутизация IPv6 для маршрутизаторов Neutron.
Поддержка IPv6 для FWaaS.
5. Улучшения Keystone.
Поддержка федерации через токены JSON Web Tokens (JWT).
6. Улучшения масштабируемости.
Теперь VIO 6.0 позволяет горизонтально масштабировать контроллеры, также как и узлы (pods), которые работают в этих контроллерах. Компактное развертывание использует 1 контроллер, а HA-развертывание - 3 контроллера. Итого можно масштабировать развертывание до 10 контроллеров для высоконагруженных окружений.
7. Функции Essential PKS on OpenStack.
Единая платформа для гибридных виртуальных машин и контейнеров.
Интерфейс OpenStack и Kubernetes API для управления жизненным циклом ресурсов и кластера.
Возможность развернуть Essential PKS с компонентом OpenStack Heat.
Поддержка OpenStack multi-tenancy для безопасной изоляции контейнерных сред.
Пакет VMware Certified Kubernetes, который находится в рамках референсной архитектуры с Essential PKS.
8. Улучшения инструментов управления.
viocli переписан на Golang.
Функции Bash completion и ярлыки CLI shortcuts добавлены в Life Cycle Manager.
Интерфейс HTML5 WebUI:
Нет зависимости от плагина vCenter Web Plugin.
Поддержка нативных тем Clarity.
9. Функции ОС Photon 3.
Панель управления VIO использует VMware Photon OS версии 3 - более легковесную и безопасную.
Контейнеры также построены на базе образов Photon OS 3.
10. Улучшения API.
Закрытый OMS API заменен на стандартный Kubernetes API.
Многие части VIO могут управляться через команды kubectl в дополнение к viocli.
Новый Cluster API, отвечающий за дополнительное управление ВМ.
11. Мониторинг.
Функции анализа причин проблем в движке Smart Assurance.
Операционный мониторинг с помощью дэшбордов vROps OpenStack Dashboards и Container monitoring.
Интеграция с vRealize Log Insight.
Видимость физических и виртуальных сетей OpenStack.
Еще большая автоматизация поиска операционных проблем.
12. Прочие улучшения.
Автоматизированные резервные копии VIO.
Управление жизненным циклом компонентов OpenStack.
Встроенный контроль версий конфигураций.
Тема для визуального фреймворка Clarity.
Поддержка OpenStack Helm для развертывания компонентов OpenStack.
Кроме того, VMware выпустила четыре интересных видео, посвященных новым возможностям Integrated OpenStack 6.0:
1. Развертывание VIO 6.0:
2. Апгрейд с версии 5.1 на 6.0:
3. Работа VMware Essential PKS поверх VMware Integrated OpenStack 6.0:
4. Интеграция VIO 6.0 с решениями vRealize Operations Manager и vRealize Log Insight:
В сентябре этого года мы писали о том, что компания VMware сделала доступным очень полезный онлайн-ресурс ports.vmware.com, в котором администраторы могут посмотреть порты и соединения для различных продуктов, таких как vSphere, vSAN, NSX и прочих. На тот момент на сайте было представлено всего 6 продуктов. С тех пор сайт регулярно обновлялся, и теперь пользователи VMware могут вывести таблицы портов уже по 12 решениям:
vSphere
vSAN
NSX Data Center for vSphere
vRealize Network Insight
vRealize Operations Manager
vRealize Automation
vCloud Availability
vCloud Usage Meter
VMware HCX
Horizon 7
Workspace ONE Access
Site Recovery Manager
В левой части можно выбрать один или несколько продуктов, для которых будут выведены все соединения с указанием портов, протокола и назначения взаимодействий с подробным описанием (а также направление взаимодействия). Это позволит правильно настроить сетевые экраны, через которые происходит коммуникация между компонентами виртуальной инфраструктуры.
Результаты можно экспортировать в отдельный красивый PDF-документ, либо распечатать. Что удобно, в колонке Version указана версия продукта, для которой эта информация актуальна. Обратите внимание также на гиперполезную функцию поиска по результатам вывода.
В сентябре этого года мы писали о VMware Cloud Foundation 3.8.1 - комплексном программном решении, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.
Давайте посмотрим, что нового появилось в VCF 3.9:
Поддержка апгрейдов на уровне кластера - теперь есть возможность выбрать отдельные кластеры в рамках домена рабочей нагрузки для обновления хостов ESXi.
Возможность управления несколькими экземплярами Cloud Foundation из одной консоли.
Домены рабочей нагрузки Virtual Infrastructure (VI) теперь поддерживают Fibre Channel (в дополнение к vSAN и NFS) как Principal Storage.
Возможность пересборки конфигураций серверов Dell MX под нужды заказчиков.
В SDDC Manager можно настроить бэкап NSX Managers на сервер SFTP таким образом, чтобы он находился в отдельной зоне отказа (fault zone). Рекомендуется зарегистрировать сервер SFTP на SDDC Manager после обновления и во время первоначальной настройки.
Бета-возможность Developer Center - она позволяет получить доступ к Cloud Foundation API и примерам кода под SDDC Manager Dashboard.
Поддержка Cloud Foundation API была существенно расширена, подробнее об этом рассказано тут.
Bill of Materials (BoM) был обновлен до последних версий продуктов.
Вот список BoM для релиза VCF 3.9:
Компонент
Версия
Дата
Номер билда
Cloud Builder VM
2.2.0.0
24 OCT 2019
14866160
SDDC Manager
3.9
24 OCT 2019
14866160
VMware vCenter Server Appliance
vCenter Server 6.7 Update 3
20 AUG 2019
14367737
VMware ESXi
ESXi 6.7 Update 3
20 AUG 2019
14320388
VMware vSAN
6.7 Update 3
20 AUG 2019
14263135
VMware NSX Data Center for vSphere
6.4.5
18 APR 2019
13282012
VMware NSX-T Data Center
2.5
19 SEP 2019
14663974
VMware Enterprise PKS
1.5
20 AUG 2019
14878150
VMware vRealize Suite Lifecycle Manager
2.1 Patch 2
02 JUL 2019
14062628
VMware vRealize Log Insight
4.8
11 APR 2019
13036238
vRealize Log Insight Content Pack for NSX for vSphere
3.9
n/a
n/a
vRealize Log Insight Content Pack for Linux
1.0
n/a
n/a
vRealize Log Insight Content Pack for vRealize Automation 7.3+
2.2
n/a
n/a
vRealize Log Insight Content Pack for vRealize Orchestrator 7.0.1+
На днях компания VMware выпустила несколько небольших апдейтов своих продуктов. Во-первых, обновился управляющий сервер vSphere до версии VMware vCenter 6.7 Update 3a. В этом релизе новых возможностей не появилось, но было сделано несколько важных багофиксов. Они касаются подсистемы безопасности для процесса резервного копирования и восстановления vCenter (подробнее тут), а также компонентов Platform Services Controller и vSAN.
Скачать VMware vCenter 6.7 Update 3a можно по этой ссылке.
Для тех, кто использует возможность "native service discovery" в vRealize Operations Manager 8.0, или использует продукт vRealize Operations Service Discovery Management Pack с прошлыми версиями vRealize Operations Manager (7.x или старше), обновление обязательно! Подробнее об этом написано в KB 75122.
Скачать VMware Tools 11.0.1 можно по этой ссылке, а 10.3.21 - по этой.
Напомним, что vCloud Foundation (VCF) - это комплексное программное решение, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия, которые желательно развертывать все вместе, но можно какие-то и опустить. Важно, что в рамках этой архитектуры полностью поддерживается взаимодействие всех компонентов друг с другом, поэтому для VCF есть список продуктов и их версий (и это могут быть не самые последние версии), который и составляет архитектуру VCF. Напомним, что о версии VCF 3.0 мы писали вот тут.
Представленная архитектура VCF для сервис-провайдеров (VCPP) позиционируется как главный продукт для построения выделенных облачных инфраструктур для крупных клиентов (Dedicated Private Clouds). Решение комбинирует в себе возможности платформ VMware Software-Defined (vSphere и прочие продукты) и решения для миграции в виртуальную среду HCX. Облачная платформа VCF поставляется в трех изданиях, в зависимости от изданий входящих в него продуктов (подробнее об этом тут):
VMware Cloud Foundation соединяет в себе портфолио SDDC (vSphere, NSX, vSAN), а также средства управления SDDC Manager, что позволяет создать валидированную архитектуру на стороне сервис-провайдера и обеспечить управление жизненным циклом всех компонентов, чтобы облачные провайдеры могли запускать апгрейд всей инфраструктуры в один клик.
Онбординг пользователей в облачную среду провайдеров VCPP помогает производить решение VMware HCX, которое обеспечивает процесс миграции физических ресурсов предприятия в облачную среду на базе виртуальных машин в облаке:
Надо сказать, что решение VCF может работать поверх гибридной инфраструктуры предприятия - просто в облаке сервис-провайдера появляется еще один объединяющий элемент. Для традиционных хостинг-провайдеров, которые предоставляют услуги Shared Hosting / Virtual Private Servers, решение VCF для VCPP позволит получить крупных заказчиков, при этом оно изначально заточено под выделенную инфраструктуру со множеством клиентов.
Для старта с решением VMware Cloud Foundation for Cloud Providers партнерам потребуется пройти специальное обучение в течение 1 недели.
Вторым важным анонсом стал выпуск архитектуры vCloud Foundation версии 3.8.1. Надо сказать, что этот релиз сфокусирован на инфраструктуре контейнеризованных приложений под управлением Kubernetes. Такая инфраструктура управляется совершенно иначе, по сравнению с традиционной платформой для виртуальных машин, поэтому целью было объединить рабочие процессы PKS (Pivotal Container Service) и VCF.
В этом релизе у VCF 3.8.1 появились следующие новые возможности:
Автоматизация развертывания решения PKS - теперь можно автоматически разместить нагрузку VMware Enterprise PKS в домене рабочей нагрузки NSX-T.
Средства интеграции VCF и PKS построены таким образом, что администраторам облака не требуется никаких специальных знаний в области Kubernetes, чтобы управлять интегрированной инфраструктурой контейнеров и виртуальных машин. Подробнее об этом рассказано тут.
Поддержка двухфакторной аутентификации - теперь она доступна для API на базе паролей в консоли SDDC Manager.
Улучшенные возможности Phone Home - предоставляет возможность провайдеру организовать функции phone home для данных в SDDC Manager одним кликом.
Обновленные списки версий ПО (Bill of materials, BOM) - включают в себя vSphere 6.7 Update 3, vSAN 6.7 U3, новые версии Horizon, NSX-T и vRealize.
Название продукта
Номер версии
Дата выпуска
Номер билда
Cloud Builder VM
2.1.1.0
3 SEP 2019
14487798
SDDC Manager
3.8.1
3 SEP 2019
14487798
VMware vCenter Server Appliance
vCenter Server 6.7 Update 3
20 AUG 2019
14367737
VMware vSphere (ESXi)
ESXi 6.7 Update 3
20 AUG 2019
14320388
VMware vSAN
6.7 Update 3
20 AUG 2019
14263135
VMware NSX Data Center for vSphere
6.4.5
18 APRIL 2019
13282012
VMware NSX-T Data Center
2.4.2 Patch 1
10 AUG 2019
14374081
Pivotal Container Service
1.4.1
20 JUN 2019
n/a
VMware vRealize Suite Lifecycle Manager
2.1 Patch 2
02 JUL 2019
14062628
VMware vRealize Log Insight
4.8
11 APR 2019
13036238
vRealize Log Insight Content Pack for NSX for vSphere
3.9
n/a
n/a
vRealize Log Insight Content Pack for Linux
1.0
n/a
n/a
vRealize Log Insight Content Pack for vRealize Automation 7.3+
2.2
n/a
n/a
vRealize Log Insight Content Pack for vRealize Orchestrator 7.0.1+
2.0
n/a
n/a
vRealize Log insight Content Pack for NSX-T
3.7
n/a
n/a
VSAN Content Pack for Log Insight
2.0
n/a
n/a
vRealize Operations Manager
7.5
11 APR 2019
13165949
vRealize Automation
7.6
11 APR 2019
13027280
Horizon 7
7.9.0
25 JUN 2019
13956742
Улучшения безопасности и исправления ошибок.
Более подробно о новых возможностях VCF можно узнать из Release Notes.
Перед самой конференцией VMworld 2019, которая прошла на прошлой неделе в Сан-Франциско, компания VMware анонсировала полезный сервис ports.vmware.com, где любой желающий может вывести порты и соединения по различным протоколам для следующих продуктов серверной линейки:
vSphere
vSAN
NSX for vSphere
vRealize Network Insight
vRealize Operations Manager
vRealize Automation
Выглядит это вот таким образом (кликабельно):
Как мы видим, в левой части можно выбрать один или несколько продуктов, для которых будут выведены все соединения с указанием портов и характера взаимодействий. Это позволит правильно настроить сетевые экраны, через которые происходит коммуникация между компонентами виртуальной инфраструктуры.
Результаты можно вывести в отдельный красивый PDF-документ, либо распечатать. Что удобно, в колонке version указана версия продукта, для которой эта информация актуальна.
Если раньше всю эту информацию приходилось вылавливать из статей базы знаний VMware, а также подглядывать в различные постеры, то теперь все очень удобно организовано на одном экране (и что важно с возможностью поиска по результатам). Также есть удобная функция - сортировка по колонкам, например, по номеру порта - когда хочется найти конкретный порт или диапазон.
В апреле мы писали о релизе облачной архитектуры VMware Cloud Foundation 3.7, в которую входит большинство основных продуктов для развертывания, исполнения, мониторинга и поддержки виртуальной инфраструктуры в онпремизном датацентре.
В конце июля компания VMware выпустила обновление этой архитектуры - Cloud Foundation 3.8. Теперь в состав комплекса решений входят следующие компоненты:
Давайте посмотрим, что там появилось нового:
1. Первый релиз публичного API.
Теперь облачной инфраструктурой можно управлять через публично доступный API, который включает в себя функции для создания, удаления и получения свойств объектов домены рабочей нагрузки (Workload Domains), кластеры, сетевые пулы и хосты. Данный API пока очень простой, но будет дорабатываться в дальнейшем.
2. Упрощение управления жизненным циклом.
Теперь вся архитектура поддерживает автоматическое обновление продуктов семейства Realize с помощью продукта vRealize Suite Lifecycle Manager (vRSLCM). Можно обновлять vRealize Log Insight, vRealize Operations Manager и vRealize Automation. Также автоматическое обновление доступно и для решения VMware NSX-T.
3. Поддержка Cloud Foundation на платформе VxRail.
Начиная с прошлого релиза, все компоненты vCF можно развернуть на аппаратной платформе Dell EMC VxRail. Но теперь эта поддержка позволяет использовать самый последний набор решений виртуального датацентра, включая продукт NSX-T в последней версии архитектуры.
Также консоль SDDC Manager теперь поддерживает управление сертификатами для VxRail Manager. Помимо этого, VxRail Manager теперь интегрирован с решением Log Insight таким образом, что он предоставляет автоматизацию управления логами и мониторинг для всей инфраструктуры.
4. Улучшения масштабируемости.
Теперь vCF поддерживает расширение кластера vRealize Operations Manager в консоли SDDC Manager для случаев, когда пользователям нужно промасштабировать кластер и добавить новые узлы.
5. Улучшения SSO.
Для обеспечения лучшего взаимодействия между доменами управления (Management Domains) и доменами рабочей нагрузки (Workload Domains), архитектура Cloud Foundation теперь может объединять домены SSO (а точнее их контроллеры PSC) для двух или более экземпляров Cloud Foundation.
Более подробно узнать об архитектуре VMware Cloud Foundation 3.8 можно по этой ссылке. Release Notes доступны тут (а вот тут - для платформы VxRail).
Вчера мы писали об очередной новинке на VMware Labs, мобильном клиенте vSphere Mobile Client для iOS и Android, а сегодня расскажем еще об одной утилите - Virtual Machine Compute Optimizer. Это средство представляет собой PowerShell-сценарий для модуля PowerCLI VMware.VimAutomation.Core, который собирает информацию о хостах ESXi и виртуальных машинах в вашем виртуальном окружении и выдает отчет о том, правильно ли они сконфигурированы с точки зрения процессоров и памяти.
Для этого в отчете есть колонка VMCPUsOptimized, которая принимает значения Yes или No.
Далее также идут колонки, где показаны оптимальные количества сокетов и ядер для виртуальных машин, которые было бы неплохо сделать для текущей конфигурации (OptimalSockets и OptimalCores). Текущая конфигурация также представлена в колонках VMNumSockets и VMCoresPerSocket.
Назначения колонок представлены на картинке ниже:
Надо понимать, что VMCO анализирует вашу инфраструктуру только на базе рекомендаций для оптимальной конфигурации виртуальных машин без учета реальной нагрузки, которая исполняется внутри. Для такой задачи нужно средство для сайзинга посерьезнее - например, VMware vRealize Operations Manager.
Скрипт Virtual Machine Compute Optimizer можно запускать как минимум под аккаунтом с правами на чтение инфраструктуры vCenter. Скачать его по этой ссылке.
Многие администраторы платформы VMware vSphere очень часто интересуются вопросом замены сертификатов для серверов ESXi в целях обеспечения безопасности. Как правило, это просто инструкции, которые не дают понимания - а зачем именно нужно менять эти сертификаты.
Недавно VMware выпустила интересную статью на тему сертификатов в vSphere и других продуктах, приведем ниже основные выдержки из нее.
1. Сертификаты - это вопрос доверия и шифрования.
При соединении с различными веб-консолями компонентов инфраструктуры VMware vSphere используется протокол HTTPS, где S означает "Secure". Инфраструктура SSL, а точнее ее последователь Transport Layer Security (TLS), использует известный в криптографии принцип открытого и закрытого ключей, который позволяет узлам, доверяющим друг другу безопасно обмениться информацией по шифрованному каналу.
TLS развивается по следующему пути:
Версия 1.0 имеет уязвимости, он небезопасен и больше не должен использоваться.
Версия 1.1 не имеет таких уязвимостей, как 1.0, но использует такие алгоритмы шифрования, как MD5 и SHA-1, которые больше не считаются безопасными.
Версия 1.2 добавляет шифрование AES, которое работает быстро и не использует небезопасные методы, сам же алгоритм использует SHA-256. На текущий момент это стандарт TLS.
Версия 1.3 не содержит слабых точек и добавляет возможности увеличения скорости соединения, этот стандарт скоро будет использоваться.
Если вы используете сертификаты vSphere, то независимо от того, какие они (самоподписанные или выданные центром сертификации) - общение между компонентами виртуальной инфраструктуры будет вестись посредством TLS с надежным шифрованием. Вопрос сертификатов тут - это всего лишь вопрос доверия: какому объекту, выпустившему сертификат, вы доверяете - это и есть Центр сертификации (он же Certificate Authority, CA).
Многие крупные компании, имеющие определенный вес (например, Microsoft) сами являются Центрами сертификации, а некоторые компании используют службы Microsoft Active Directory Certificate Services, чтобы встроить собственные CA в операционную систему и браузеры (импортируют корневые сертификаты), чтобы "научить" их доверять этим CA.
2. В VMware vSphere сертификаты используются повсеместно.
Как правило, они используются для трех целей:
Сертификаты серверов ESXi, которые выпускаются для управляющих интерфейсов на всех хост-серверах.
"Машинные" сертификаты SSL для защиты консолей, с которыми работает человек - веб-консоль vSphere Client, страница логина SSO или Platform Service Controllers (PSCs).
"Solution"-сертификаты, используемые для защиты коммуникаций со сторонними к платформе vSphere продуктам, таким как vRealize Operations Manager, vSphere Replication и другим.
Полный список компонентов, где vSphere использует сертификаты, приведен вот тут.
3. vSphere имеет собственный Центр сертификации.
Платформа vSphere из коробки поставляется с собственным CA, который используется для коммуникации между компонентами. Называется он VMware Certificate Authority (VMCA) и полностью поддерживается для vSphere как с внешним PSC, так и для vCenter Server Appliance (vCSA) со встроенным PSC.
Как только вы добавляете хост ESXi в окружение vCenter, то VMCA, работающий на уровне vCenter, выпускает новый сертификат на этот ESXi и добавляет его в хранилище сертификатов. Такая же штука происходит, когда вы настраиваете интеграцию, например, с решениями vRealize Operations Manager или VMware AppDefense.
Надо понимать, что CA от VMware - это всего лишь решение для защищенной коммуникации между серверами, которое поставляется из коробки. Ваше право - доверять этой модели или нет.
4. Есть 4 способа внедрить инфраструктуру сертификатов на платформе vSphere.
Вот они:
Использовать самоподписанные сертификаты VMCA. Вы можете просто скачать корневые сертификаты с веб-консоли vCenter, импортировать их в операционную систему клиентских машин. В этом случае при доступе к веб-консоли, например, vSphere Client у вас будет отображаться зеленый замочек.
VMCA можно сделать подчиненным или промежуточным (subordinate/ intermediate) центром сертификации, поставив его посередине между CA и конечными хостами, что даст дополнительный уровень сложности и повысит вероятность ошибки в настройке. VMware не рекомендует так делать.
Отключить VMCA и использовать собственные сертификаты для любых коммуникаций. Ваш ответственный за сертификаты должен нагенерировать запросы Certificate Signing Requests (CSR) для всех компонентов. Эти CSR-запросы вы отсылаете с CA, которому вы доверяете, получаете их подписанными, после чего устанавливаете их в ручном режиме. Это отнимает время и чревато ошибками.
Использовать гибридный подход - для хостов ESXi в их коммуникации с vCenter использовать самоподписанные VMCA сертификаты, а для веб-консолей vSphere Client и прочих использовать перевыпущенные сертификаты, которые надо установить на сервере vCenter и хостах, с которых будет управляться инфраструктура через браузер (тогда в нем появится зеленый замочек). Это самый рекомендуемый VMware вариант использования сертификатов.
5. Enterprise-сертификаты - тоже самоподписанные.
Подумайте - самоподписанными являются не только сертификаты VMCA, но и ваши корпоративные сертификаты. Если вы выпускаете эти сертификаты только на уровне своей компании, то у вас 2 точки потенциального недоверия - сторона, выпустившая сертификаты у вас в компании, а также, собственно, сам VMCA. Такая схема создает дополнительный уровень сложности администрирования, а также нарушения безопасности.
6. Не создавайте промежуточный Центр сертификации.
Если вы создаете intermediate CA (он же subordinate CA) для VMCA, превращая его в посредника, вы создаете потенциальную опасность для виртуальной инфраструктуры - если кто-то получает доступ к корпоративному центру сертификации и его парам ключей, то он может навыпускать любых сертификатов от имени VMCA и перехватывать потом любые коммуникации.
7. Можно изменять информацию для самоподписанных сертификатов CA.
С помощью утилиты Certificate Manager utility вы можете сгенерировать новый VMCA с необходимой информацией о вашей организации внутри него. Эта утилита перевыпустит все сертификаты и заменит их на всех хостах виртуальной инфраструктуры. Это хорошая опция для гибридной модели. Кстати, вы можете менять даты устаревания сертификатов, если дефолтные вас не устраивают.
8. Тестируйте инфраструктуру сертификатов перед внедрением.
Вы можете развернуть виртуальную инфраструктуру и провести все эксперименты с сертификатами в виртуальной среде, где вы можете использовать виртуальные (nested) серверы ESXi. Приятная штука в том, что вы можете создавать снапшоты виртуальных машин, а значит в случае чего - быстро откатитесь на рабочий вариант. Еще одна среда для экспериментов - это облачная инфраструктура VMware Hands-on Labs, где можно безопасно ставить любые эксперименты.
Делайте резервную копию вашего vCenter и PSC на уровне файлов через веб-консоль VAMI. Также утилитой Certificate Manager можно скопировать старый набор сертификатов перед развертыванием новых (но только один набор сертификатов, учитывайте это). Также эта процедура полностью поддерживается со стороны VMware Global Support Services.
10. Понимайте, зачем вы заморачиваетесь с заменой сертификатов.
Ответьте для себя на несколько вопросов:
Стоит ли иконка зеленого замочка в браузере всех этих заморочек?
Нужно ли всем видеть этот замочек или только команде администрирования vSphere?
Почему вы доверяете vCenter для управления всем в виртуальной инфраструктуре, но не доверяете VMCA?
В чем отличие самоподисанного сертификата вашего предприятия от самоподписанного сертификата VMCA?
Действительно ли комплаенс требует от вас кастомных CA-сертификатов?
Какова будет цена процедур по замене сертификатов в инфраструктуре vSphere во времени и деньгах?
Увеличивает или уменьшает риск итоговое решение и почему конкретно?
Некоторые администраторы решения vRealize Operations сталкиваются с трудностями восстановления админского пароля к консоли Operations Manager. В этом случае большинство использует функции сброса пароля root к виртуальному модулю, хотя у Operations Manager 7.0 есть простая процедура password recovery, правда подготовиться к ней нужно заранее.
Просто откройте vRealize Operations Manager Administration и перейдите в раздел Administrator Settings:
Как мы видим, здесь можно задать опцию восстановления пароля администратора, просто указав его почту (отправку письма со ссылкой на восстановление пароля можно протестировать).
Как только вы зададите эти настройки, у вас появится опция "Forgot password" на экране логина:
Когда вы нажмете эту ссылку, вам будет отправлено письмо на заданный ранее email со ссылкой на сброс пароля:
Перейдя по ней, вы сможете сразу установить новый пароль, не зная старого.
Ну вы поняли да, что настроить способ восстановления пароля нужно еще до того, как вы его забыли :)
У компании VMware вышла полезная многим администраторам решения vRealize Operations (vROPs) онлайн-утилита для сайзинга управляющей инфраструктуры - vRealize Operations Sizing Tool. Она будет полезна администраторам и консультантам, которые планируют развертывание инфраструктуры vROPs и подбирают для этого оборудование и необходимые мощности.
В случае прикидочного расчета нужно просто выбрать версию vRealize Operations Manager и указать тип сайзинга Basic:
Это даст обобщенные требования к оборудованию при минимальном вводе данных. В basic-режиме вы просто задаете параметры своей виртуальной инфраструктуры, условия хранения данных на серверах vROPs и планируемый рост инфраструктуры:
Также параметр High Availability удвоит число необходимых узлов за счет введения резервных.
Итогом будут рекомендации по числу и конфигурации узлов, которые будут обслуживать сервисы мониторинга vROPs (для этого надо нажать на ссылку View Recommendations):
Полученный отчет можно выгрузить в PDF-формат. Кстати, если нажмете на вкладку Environment, то можно будет скорректировать данные, не начиная процесс с начала.
Если же вы выберете режим Advanced для более точного сайзинга, то в самом начале у вас запросят несколько больше данных о вашей виртуальной инфраструктуре:
После параметров объектов vCenter вы сможете задать имеющиеся или планируемые Management Packs от сторонних производителей или самой VMware (и число отслеживаемых объектов в них):
Если же у вас уже есть инфраструктура vRealize Operations, то vRealize Operations Sizing Tool - это хорошее средство, чтобы проверить, что вы правильно подобрали конфигурацию узлов под vROPs.
Для этого надо пойти в раздел Administration > History > Audit > System Audit и там посмотреть итоговое настроенное число объектов (Objects) и метрик (Metrics):
После этого вы можете вбить это число в разделе Other Data Sources и получить расчет параметров сервера, который более-менее должен сходиться с вашей конфигурацией узлов:
Недавно компания VMware сделала доступной онлайн интересную утилиту - VMware Configuration Maximums Tool. Она позволяет быстро и просто найти максимальные параметры конфигураций для различных продуктов VMware:
На данный момент поддерживаются решения NSX Data Center for vSphere, vSphere (правда пока еще нет vSphere 6.7 Update 1), VMware NSX-T, vRealize Operations Manager и VMware Site Recovery Manager, но, скорее всего, этот список будет быстро пополняться.
Помимо продукта VMware и его версии, можно также выбрать и категории максимумов, которые хочется посмотреть (хосты ESXi, виртуальные машины и т.п.). Также полученные результаты можно экспортировать в PDF.
Если в верхней части страницы перейти на вкладку Compare Limits, то мы увидим функционал сравнения максимумов в различных версиях продуктов. Например, выберем слева VMware vSphere 6.7 и сравним с ней две предыдущих версии платформы - vSphere 6.5 Update 1 и vSphere 6.5:
Результаты будут приведены в таблице (обратите внимание, что их можно экспортировать в CSV):
Недавно мы писали о новой версии решения для мониторинга и управления виртуальной средой VMware vRealize Operations 7.0, где в комментариях справедливо отметили, что даже версия vROPs 6.7, выпущенная в начале весны этого года, не поддерживает мониторинг сред виртуальных ПК VMware Horizon.
Однако недавно компания VMware выпустила обновление VMware vRealize Operations for Horizon 6.6, которое добавлет интеграцию с Horizon для решения Operations Manager 6.7 и расширяет его возможности в части мониторинга инфраструктуры виртуальных ПК.
Пакет vRealize Operations for Horizon management pack собирает метрики с виртуальных ПК и хостов vSphere, агрегирует их и представляет данные в vRealize Operations Manager для целей мониторинга, анализа трендов и предиктивной аналитики.
В итоге в vRealize Operations Manager появилось 13 новых дэшбордов, которые работают совместно со стандартными возможностями мониторинга объектов виртуальной среды, что дает возможность мониторить инфраструктуру VMware Horizon.
Виджет "Top Horizon Alerts" дает список алертов, которые оказывают наибольшее влияние на объекты инфраструктуры Horizon.
Спустя некоторое время после окончания конференции VMworld 2018, компания VMware выложила в открытый доступ полный список всех лаб, которые были доступны во время конференции. Практические занятия Hands-On Labs (HOL) позволят вам выполнить реальные задачи в интерфейсе различных продуктов без необходимости их развертывания в своей тестовой среде.
В процессе обновления были доработаны предыдущие лабы, а также добавлены несколько новых, которые раньше были недоступны. Вот все эти лабораторки:
Компания VMware на сайте проекта VMware Labs опубликовала полезную утилиту SDDC Certificate Tool. Она позволяет автоматизировать процесс замены сертификатов SSL в различных продуктах VMware, который всегда был очень геморройным. Теперь, будем надеяться, за счет этой утилиты он превратится в нечто более дружественное.
Для замены сертификатов поддерживаются следующие решения:
Продукт
Минимальная версия
Максимальная версия
Platform Services Controller
6.0 U2
6.7
vCenter Server
6.0 U2
6.7
NSX-V
6.2.4
6.4.1
vRealize Log Insight
3.6
4.6
vRealize Operations Manager
6.3
6.7
vRealize Automation
7.4
7.4
vRealize Business for Cloud
7.1
7.4
Наверное вы заметили, что в списке нет ESXi - это обусловлено тем, что для замены сертификатов требуется эвакуация всех виртуальных машин с хоста, что может занять очень значительное время, поэтому поддержки пока такой нет (но, может быть, появится).
Надо отметить, что это довольно большой набор продуктов для первой версии, охватывающий практически всю линейку решений для управления, мониторинга и автоматизации датацентров (именно поэтому в названии утилиты есть SDDC - Software-Defined Data Center).
Помимо настройки сертификатов, утилита позволяет перенастроить трасты между компонентами по окончании процесса настройки. Утилита работает из командной строки (вам понадобится Linux-сервер с Java 1.8+) и автоматизирует многие шаги, которые ранее нужно было выполнять вручную с помощью Certificate Generation Utility (CertGen). На входе она принимает JSON-конфигурацию, в которой описывается требуемое множество поддерживаемых продуктов VMware.
Приятно, что в составе утилиты уже имеются множество пре-чеков перед заменой сертификатов - определение срока действия, валидация цепочки и прочее, а также сверка введенных параметров (например, число узлов vSAN) с фактическими. Для использования SDDC Certificate Tool подойдет PhotonOS, которую можно скачать отсюда.
Небольшая демка по использованию утилиты (кстати, напомним, что она на данный момент в статусе технологического превью):
Скачать в виде rpm-пакета можно по этой ссылке. Детальные инструкции по использованию утилиты находятся тут.